Fortaleza tomada a los musulmanes a principios del siglo XI por el conde de Castilla Sancho García, suegro del rey de Navarra Sancho III Garcés "el Mayor".

Cerca del castillo, en el monasterio dominico de los Frayles Predicadores, nació en 1421 el Príncipe Carlos de Viana. Su padre el infante Juan de Aragón, rey de Navarra, era duque de Peñafiel.

Su primera edificación data de principios del siglo X. Las primeras noticias de esta fortaleza datan de principios del siglo XI cuando el conde Sancho García lo toma a los árabes y pronuncia la célebre frase desde hoy en adelante esta será la peña más fiel de Castilla, con lo que dio origen al nombre de la villa, que antes se llamaba Peña Falcón. El señorío de Peñafiel, creado por Fernando III el Santo, pasa a manos de Alfonso X el Sabio y de éste a su sobrino don Juan Manuel, el infante poeta. Es éste quien reedifica la vieja fortaleza del siglo XI, que se prolongaba a través de unas murallas, hasta rodear toda la villa. Don Juan Manuel lo donó al monasterio dominico de San Pablo. El castillo actual es obra inacabada, edificada sobre las ruinas anteriores, en el siglo XV, por don Pedro Girón, maestre de la orden de Calatrava, durante el reinado de Juan II de Castilla.